HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
HarnessOpt-Bench：大模型Harness优化评测基准
🧭 大模型Harness自动化优化基准测试
Scale AI
首个评估LLM端到端Harness优化的基准，揭示模型差异大于框架且原生框架不总占优
📌 工作参考价值（4 点）
- 在搜索推荐系统的Agent搭建中，可引入类似Harness优化流程：以LLM自动迭代提示词、工具组合、控制流，基于离线的固定评估预算搜索最优配置，替代纯人工调参。
- 借鉴信任执行环境（TEE）设计，为优化过程建立沙盒，严格隔离测试集，防止信息泄露，同时跟踪资源消耗与版本历史，确保线上Agent迭代的安全性。
- 选择优化器模型时优先考虑本基准中表现更强的模型（如GPT‑4o），因其优化增益显著高于弱模型；业务中可先对候选模型进行简易评估，再投入自动化调优。
- 初始种子Harness对最终增益影响大，推荐由领域专家设计多个有差异的种子基线，再让优化器在预算内探索，以获得更稳定和泛化的性能提升。